Генерирует каждое последующее слово в предложении так, чтобы текст получился связным и грамматически правильным.
Подробнее
Языковая модель YaLM (Yet another Language Model), вдохновленная GPT-3 от компании Open AI и другими языковыми моделями на архитектуре Transformer.
Задача — генерировать каждое последующее слово в предложении, чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» идти слово «бегать» или слово «раму».Запоминать все правила языка и подбирать подходящие слова Балабобе помогают заложенные внутри языковой модели YaLM параметры, которые меняются в зависимости от того, правильно или неправильно предсказывается слово.
Сравнить их можно с маленькими рычажками, каждый из которых нужно повернуть в разные стороны, чтобы запустить механизм.
В семействе языковых моделей YaLM таких рычажков — от 1 до 13 миллиардов, а в Балабобе используется модель с 3 миллиардами.
Чтобы написанные Балабобой тексты были не только грамматически правильными, но и лексически разнообразными, использованы терабайты данных.
YaLM обучена на части индексируемых Яндексом страниц рунета, включая не только Википедию, новостные статьи и книги, но и открытые записи пользователей социальных сетей и форумов.
Чтобы не перегружать модель, из выборки вычистили повторяющиеся, незаконченные и неестественные тексты.
Но главная особенность YaLM — умение учиться новому всего на нескольких примерах: чтобы языковая модель написала осмысленные отзывы на фильмы, тосты для застолья или теории заговора, ей хватит от пяти до нескольких десятков примеров того, как такие тексты надо писать.
Именно это вы можете наблюдать при выборе стилизации: например, чтобы научить Балабобу генерировать простые рекламные слоганы для любых объектов, ему «скормили» несколько известных примеров, среди которых, конечно «Найдется всё».
